Ông sinh ở 1795 tại Kinh Bắc (thuộc phường Kinh Bắc, thành phố Bắc Ninh, tỉnh Bắc Ninh ngày nay), với tên do cha mẹ đặt là Trần An Dũng. Nguyên gốc, gia đình không có đạo Công giáo, sau lưu lạc lên Kẻ Chợ (nay là Hà Nội) để sinh nhai.

Năm 12 tuổi, ông được một thầy giảng Công giáo nhận nuôi và từ đó chịu phép rửa tội theo đạo Công giáo, với tên thánh là Anrê (Andreas).